home *** CD-ROM | disk | FTP | other *** search
/ CD ROM Paradise Collection 4 / CD ROM Paradise Collection 4 1995 Nov.iso / program / nndt110.zip / CHANGES.TXT next >
Text File  |  1995-01-12  |  7KB  |  173 lines
  1.                           NNDT
  2.  
  3.               Neural Network Development Tool
  4.                   Evaluation version 1.1
  5.                        Bj÷rn Saxen
  6.                           1995
  7.  
  8.  
  9. List of changes and (some of the) bug corrections
  10.  
  11. 1.0 -> 1.1
  12. ==============
  13. Changes:
  14. - Command line arguments enabling non-interavtive runs supported
  15. - The pattern file may have up to 35 columns
  16. - Max number of nodes/layer increased to 15, max number of weights
  17.   increased to 200 
  18. - User's guide is split into three separate ps-files, since there 
  19.   seems to be problems with printing large ps-files on some systems.
  20.   All three parts are packed into MANUAL.ZIP
  21. - "Always reread pattern file" check box added -> changes made
  22.   to the pattern file contents between subsequent runs take effect.
  23. - Multiple sessions of NNDT possible
  24. - A log file option added
  25. - The seed for the random number generator is saved in the setup file,
  26.   the seed is not re-generated when "initialise" window is opened.
  27. - The default value for the relative weight change limit is set to 
  28.   100%, since this is often a suitable value.
  29. - The default directory is changed to that of the latest file selected 
  30.   in any of the file dialog boxes.
  31.  
  32. Fixed bugs:
  33. - A GPF occured if memory allocation failed in NNDTCALC.DLL
  34. - An extra line sometimes occured in training progress graph.
  35.  
  36. 0.99 -> 1.0
  37. ==============
  38. Changes:
  39. - A user's guide is delivered with NNDT (MANUAL.ZIP) 
  40. - The network calculations are carried out by NNDTCALC.DLL, 
  41.   situated in the directory created for NNDT. (NETSOLV.DLL
  42.   used by older versions of NNDT can be removed from the
  43.   \system directory)
  44.  
  45. Fixed bugs: 
  46. - An error occured in "training progress" plot occured if the 
  47.   number of iterations exceeded ~6000.
  48. - The axis labels in "performance graph" was drawn in a strange 
  49.   way for some min and max values.
  50. - Initial state table and network activation table (in network
  51.   state window) were not completely shown for certain network
  52.   configurations.
  53.  
  54. 0.98d -> 0.99
  55. ==============
  56. Changes:
  57. - Modified installation routine. Manual setup is made 
  58.   easy since the program files are not compressed.
  59.  
  60. Fixed bugs: 
  61. - Certain large data sets and/or networks caused a GPF in the
  62.   network calculation routine (netsolv.dll)
  63.  
  64. 0.98c -> 0.98d
  65. ==============
  66. Changes:
  67. - Faster network training due to improvements in the algorithm and
  68.   optimized compiling
  69. - Weight initialisation can be made separately for each layer and the 
  70.   seed for the random number generator can be specified by the user.
  71. - Better plot possibilities
  72. - Node activations for test data can be analysed in state window
  73. - Recurrent networks without input signals can be evaluated with a number
  74.   of patterns different to that of the pattern file
  75. - A demo setup (demo1b.mlp) for an autonomous recurrent network added
  76. - Reduced memory requirements at startup
  77.  
  78. Fixed bugs: 
  79. - The node to feed back could not be selected when only one feedback
  80.   connection was chosen
  81. - The analytical gradient (derivatives) was calculated incorrectly for 
  82.   recurrent nets when several periods with equal initial states were used.
  83. - The use of the word "parameter" in the help file etc. was somewhat 
  84.   inconsequent. From now on, a parameter is a network weight, bias or
  85.   initial state. 
  86. - Still some problems with a decimal separator other than the dot (.)
  87. - Test file activations were not calculated if the number of observations 
  88.   in the test file was less than required for network training.
  89. - Graphs were not updated for the final trained net when training converged 
  90.   between redraws (redraw interval > 1) 
  91. - Residuals for test data were not plotted correctly
  92.  
  93. Thanks to Mats and Henrik for testing!
  94.  
  95.  
  96. 0.98b -> 0.98c
  97. ==============
  98. Changes:
  99. - new options for the graph: internal node activations and weights 
  100.   can be plotted, also test data can be plotted
  101. - the graph is updated immediately after changing plot variables 
  102.   or options
  103. - Buttons added to the main window for faster access to other windows.
  104.  
  105. Fixed bugs:
  106. - Real time mode did not work properly -> this option removed!
  107. - rms error for test patterns at iteration 0 was plotted incorrectly
  108. - error in screen updating after use of single step mode
  109. - some parameters were not initialized when a new setup was chosen
  110.  
  111. 0.98 -> 0.98b
  112. =============
  113. Fixed bugs:
  114. - An error in the setup save routine caused problems when "old" weights
  115.   were used.
  116. - No network evaluation was made before training which caused wrong
  117.   value for "iteration zero" in the training progress plot.
  118.  
  119.  
  120. 0.96 -> 0.98
  121. ===========
  122.  
  123. Changes:
  124. - Analytical derivatives available -> better training performance
  125. - Teacher forcing option fot recurrent nets
  126. - New weight constraints: penalty term & max. rel. change
  127. - Specification of constant and equal weights possible
  128. - A separate test file can be used
  129. - Time, iteration index, SSQ and rms error are written to a log table after
  130.   each iteration
  131. - A plot of rms error for training and test data vs iteration index
  132.   is available
  133.  
  134. Fixed bugs:
  135. - Using a decimal separator other than the dot (.) as default in the 
  136.   MS Windows environment caused problems, hopefully not any more
  137.  
  138.  
  139. 0.9 -> 0.96
  140. ===========
  141.  
  142. Changes:
  143. - Menus and file selection restructured to a more "standard" form.
  144. - "New setup" option added
  145. - Pattern file setup made clearer (hopefully).
  146. - OK button in about-box when chosen from menu.
  147. - Faster aborting when stop button pressed during iteration.
  148. - Default redraw interval set to 1, this also limits the training
  149.   to *one* step at a time in "single step mode".
  150. - Better possibilities to examine node activations for separate 
  151.   patterns, both during iteration steps and after iteration.
  152. - Button to verify weight changes made in network state window added.
  153. - Residuals, i.e the difference between network and desired outputs, can
  154.   be plotted as an alternative to the outputs.
  155. - The plot "density" can be increased to make faster (but less accurate) plot
  156. - Check box for pattern data filtering
  157. - Network parameter window accessed by double-clicking the picture
  158.  
  159.  
  160. Fixed bugs:
  161. - Some user actions in network state window caused illegal function calls.
  162. - Only one header line was read from the pattern file, even if a greater 
  163.   number was specified.
  164. - Some missing lines in the setup file DEMO1.MLP caused errors when DEMO1
  165.   opened after a setup with feed-back nodes.
  166. - Multiple instances of running NNDT:s cause GPF:s in the training 
  167.   routines (NETSOLV.DLL). Now, only one NNDT can call the DLL at a time.
  168. - Decreasing the number of variables to be read from pattern file did not 
  169.   always work
  170. - Specification of the feed-back nodes was not always easy.
  171. - + some other bugs which I don┤t remember...
  172.  
  173.